Charles là con trai thứ hai của Carlos III và vợ Maria Amalia của Saxony. Ông sinh ra tại Napoli (11 tháng 11 năm 1748), trong khi cha của ông là vua của Hai Sicilies. Anh trai của ông Don Felipe đã không được chọn làm người kế vị do bị bệnh tâm thần và động kinh. Tại Napoli và Sicilia, ông đã được xưng hô là Hoàng tử của Taranto.

Charles đã được thừa hưởng một thân hình to lớn và sức khỏe tuyệt vời to lớn từ dòng dõi Saxon của mẹ, cháu gái của August II của Ba Lan. Khi còn trẻ ông thích đấu vật với những đồng hương mạnh nhất ông có thể tìm thấy. Trong khi ông được nhiều người xem là trí tuệ chậm chạp và khá cả tin, ông cũng được biết đến đối với hành vi tốt đẹp.